Measuring and Mitigating Identity-Cue Preference Drift in LLM-based Recommender Systems
测量与缓解 LLM 推荐系统中的身份线索偏好漂移
🧭 LLM RecSys 身份线索漂移测量与缓解 ★ 深度解读
Institute of Intelligent Computing, University of Electronic Science and Technology of China
提出 PromptShift 训练-free 框架，量化并缓解 LLM 推荐中单条身份线索导致的群体偏好漂移，SliceShift 平均降低 62.42%
📌 工作参考价值（4 点）
- 在 LLM 排序/推荐中，prompt 注入用户性别、年龄等 profile 属性不是中性输入：即使行为历史不变，也会系统性把结果拉向该群体热门物品。工程上应把身份字段视为可干预变量，并对线上 prompt 做受控对照测试（paraphrase controls）以区分普通措辞敏感性。
- 可复用其 slice-popularity table：用近期正反馈构建 identity slice × item 频率表，小样本 shrink 向全局，再用 Δφ=φ(item,g)-φ(item,⋆) 识别“群体过流行”物品，作为无参数偏差审计信号。
- 后处理 reranking 适合合规/轻量去偏：对 LLM 生成候选池 (N>K) 用 score = α_u·rank_score + (1-α_u)·(1-φ(item,g)) 重排，α_u 由用户历史 mainstreamness 动态调节；保留 top K' 不干预，能提升 HitRate/MRR 且几乎无额外模型调用。
- 注意 trade-off：该方法可能降低 NDCG，因为会扰动多命中排序；如果业务更重 NDCG 需压 α 下限或只在前 K 外做调整。